Audio-visual speech recognition (AVSR) has gained remarkable success for ameliorating the noise-robustness of speech recognition. Mainstream methods focus on fusing audio and visual inputs to obtain modality-invariant representations. However, such representations are prone to over-reliance on audio modality as it is much easier to recognize than video modality in clean conditions. As a result, the AVSR model underestimates the importance of visual stream in face of noise corruption. To this end, we leverage visual modality-specific representations to provide stable complementary information for the AVSR task. Specifically, we propose a reinforcement learning (RL) based framework called MSRL, where the agent dynamically harmonizes modality-invariant and modality-specific representations in the auto-regressive decoding process. We customize a reward function directly related to task-specific metrics (i.e., word error rate), which encourages the MSRL to effectively explore the optimal integration strategy. Experimental results on the LRS3 dataset show that the proposed method achieves state-of-the-art in both clean and various noisy conditions. Furthermore, we demonstrate the better generality of MSRL system than other baselines when test set contains unseen noises.

鉴于对计算资源的限制（例如，模型大小，跑步内存）的限制，不断学习新课程而没有灾难性遗忘是一个具有挑战性的问题。为了解决这个问题，我们提出了一种简单有效的持续学习方法。我们的方法通过测量按样本分类不确定性来选择培训的历史数据。具体而言，我们通过观察数据的分类概率如何与添加到分类器嵌入中的平行扰动相比如何波动来测量不确定性。通过这种方式，与将扰动添加到原始数据相比，计算成本可以大大降低。 DCASE 2019任务1和ESC-50数据集的实验结果表明，我们所提出的方法优于基准的分类准确性和计算效率的基线连续学习方法，表明我们的方法可以有效，可以逐步学习新的课程，而无需用于灾难性环境的灾难性遗忘问题声音分类。

基于内部语言模型估计（ILME）语言模型（LM）融合已显示出明显改善的识别结果，而识别域内和跨域语音识别任务的常规浅融合。在本文中，我们试图将ILME方法应用于跨域代码转换语音识别（CSSR）工作。具体而言，我们的好奇心来自几个方面。首先，我们很好奇基于ILME的LM融合对内域和跨域CSSR任务的有效性。我们在不合并两个代码转换域的情况下对此进行验证。更重要的是，我们通过合并两个单语言数据集训练端到端（E2E）语音识别模型，并观察到拟议的基于ILME的LM Fusion对CSSR的功效。来自东南亚和另一个中国大陆CS数据集的SEAME的实验结果证明了拟议的基于ILME的LM融合方法的有效性。

在本文中，我们解决了Dcase 2022中提出的新的基于语言的音频检索任务。其次，我们表明，使用此体系结构以及对比度损失，该模型可以显着击败基线模型的性能。最后，除了具有极低的训练记忆需求之外，我们还可以使用预告片的型号，而无需对其进行预感。我们测试我们的方法，并表明使用方法的组合可以显着击败基线得分。

在部署后更新关键字发现（KWS）模型时，灾难性遗忘是一个棘手的挑战。如果KWS模型由于内存有限而进一步需要KWS模型，则此问题将更具挑战性。为了减轻此类问题，我们提出了一种新颖的多样性吸引的增量学习方法，名为Rainbow关键词（RK）。具体而言，拟议的RK方法引入了一种多样性意识的采样器，以通过计算分类不确定性来从历史和传入的关键字中选择多种设置。结果，RK方法可以逐步学习新任务，而无需忘记先验知识。此外，RK方法还提出了数据扩展和知识蒸馏损失功能，以在边缘设备上有效内存管理。实验结果表明，所提出的RK方法在与Google Speech命令数据集中最佳基线的平均准确性相比，绝对准确性获得了4.2％的绝对改善，所需的内存较少。这些脚本可在GitHub上找到。

This paper presents the work of restoring punctuation for ASR transcripts generated by multilingual ASR systems. The focus languages are English, Mandarin, and Malay which are three of the most popular languages in Singapore. To the best of our knowledge, this is the first system that can tackle punctuation restoration for these three languages simultaneously. Traditional approaches usually treat the task as a sequential labeling task, however, this work adopts a slot-filling approach that predicts the presence and type of punctuation marks at each word boundary. The approach is similar to the Masked-Language Model approach employed during the pre-training stages of BERT, but instead of predicting the masked word, our model predicts masked punctuation. Additionally, we find that using Jieba1 instead of only using the built-in SentencePiece tokenizer of XLM-R can significantly improve the performance of punctuating Mandarin transcripts. Experimental results on English and Mandarin IWSLT2022 datasets and Malay News show that the proposed approach achieved state-of-the-art results for Mandarin with 73.8% F1-score while maintaining a reasonable F1-score for English and Malay, i.e. 74.7% and 78% respectively. Our source code that allows reproducing the results and building a simple web-based application for demonstration purposes is available on Github.

持续的19日大流行造成了全世界人民的不可估量的损失。为了遏制病毒的传播并进一步减轻危机，已经发布了各种健康政策（例如，在家命令），随着用户转向社交媒体分享他们的态度，他们引发了热烈讨论。在本文中，我们考虑了有关大流行病的立场检测（即跨目标和零照片设置）的更现实的场景，并提出了一个基于对抗性的学习立场分类器，以自动识别公众对与COVID相关健康健康相关健康的态度政策。具体而言，我们采用对抗性学习，使模型可以训练大量标记的数据并从源主题中捕获可转移的知识，从而使具有稀疏标记数据的新兴健康政策概括。同时，设计了一个地理编码器，鼓励模型学习每个区域指定的未观察到的上下文因素，并将其表示为非文本信息，以增强模型的更深入的理解。我们评估了与CoVID-19相关策略的立场检测任务中广泛基线的性能，实验结果表明，我们提出的方法在跨目标和零击设置中都达到了最新的性能。

量化在隐式/坐标神经网络中的作用仍未完全理解。我们注意到，在训练过程中使用规范的固定量化方案在训练过程中的网络重量分布发生变化，在训练过程中会导致低速表现不佳。在这项工作中，我们表明神经体重的不均匀量化会导致显着改善。具体而言，我们证明了群集量化可以改善重建。最后，通过表征量化和网络容量之间的权衡，我们证明使用二进制神经网络重建信号是可能的（而记忆效率低下）。我们在2D图像重建和3D辐射场上实验证明了我们的发现；并表明简单的量化方法和体系结构搜索可以使NERF的压缩至小于16KB，而性能损失最小（比原始NERF小323倍）。

我们如何检测异常：也就是说，与给定的一组高维数据（例如图像或传感器数据）显着不同的样品？这是众多应用程序的实际问题，也与使学习算法对意外输入更强大的目标有关。自动编码器是一种流行的方法，部分原因是它们的简单性和降低维度的能力。但是，异常评分函数并不适应正常样品范围内重建误差的自然变化，这阻碍了它们检测实际异常的能力。在本文中，我们从经验上证明了局部适应性对具有真实数据的实验中异常评分的重要性。然后，我们提出了新颖的自适应重建基于错误的评分方法，该方法根据潜在空间的重建误差的局部行为来适应其评分。我们表明，这改善了各种基准数据集中相关基线的异常检测性能。

目的：Shapley添加说明（SHAP）是一种流行的事后技术，用于解释黑匣子模型。尽管已经对数据不平衡对预测模型的影响进行了广泛的研究，但在基于Shap的模型解释方面，它在很大程度上仍然未知。这项研究试图研究数据不平衡对深度学习模型的Shap解释的影响，并提出一种减轻这些影响的策略。材料和方法：我们建议在解释黑匣子模型时在背景中调整类别的类别，并在形状中进行解释数据。我们的数据平衡策略是构成背景数据和解释数据，同等分布。为了评估数据调整对模型解释的影响，我们建议将Beeswarm图用作定性工具，以识别“异常”解释伪像，并定量测试可变重要性和预测能力之间的一致性。我们在一项实证研究中证明了我们提出的方法，该研究使用医学信息MART（MIMIC-III）数据预测住院死亡率和多层概念。结果：使用数据平衡策略将使我们能够减少蜜蜂图图中的工件数量，从而减轻数据不平衡的负面影响。此外，通过平衡策略，来自相应重要性排名的顶级变量表明歧视能力得到了改善。讨论和结论：我们的发现表明，平衡的背景和解释数据可以帮助减少偏斜的数据分布引起的解释结果中的噪声，并提高可变重要性排名的可靠性。此外，这些平衡程序提高了在临床应用中识别出异常特征的患者方面的可能性。